(12) DEMANDE INTERNATIONALE ¥\JSLStE. EN VERTU DU TRATTE DE COOP^iRATION 
EN MATlfeRE DE BREVETS (PCT) 



(19) Organisation Mondiale de la Propri^t^ 
InteUectuelle 

Bureau international 

(43) Date de la publication intemationale 
5 f^vrier 2004 (05.02.2004) 




PCT 



iiHiniiiiiiiiiiiiiiiiiiiiiiininoiiiiiiiiiiii 

(10) Num^ro de publication intemationale 

WO 2004/012340 A2 



(51) Classification intemationale des brevets^ : H03M 7/30 

(21) Numero de la demande internationale : 

PCT/FR2003/002246 

(22) Date de depot international: 16juillet 2003 (16.07.2003) 

(25) Langue de depot : fransais 

(26) Langue de publication : frangais 

(30) Donnees relatives a la priorite : 

02/09287 22juillet 2002 (22.07.2002) FR 

03/03288 18 mars 2003 (18.03.2003) FR 

(71) Deposant (pour tous les hats designds sairf US) : IN- 

! RIA INSTITUT NATIONAL DE RECHERCHE EN 

: INFORMATIQUE ET EN AUTOMATIQUE [FR/FR]; 

i Domaine de Voluceau, Rocquencourt, Boite postale lOS, 

I F-78153 Le Chesnay Cedex (FR). 



(72) Inventeurs; et 

(75) Inventeurs/Deposants (pour US seulement) : GUION- 
NET, Thomas [FR/FR]; 81, avenue Ari slide Briand, 
F-35000 Rennes (FR). GUILLEMOT, Christine [FR/FR]; 
2, all6e Fran9oise Dolto, F-35135 Chantepie (FR). 

(74) Mandatalre : PLACAIS, Jean-Yves; Cabinet Netter, 36. 
Hoche, F-75008 Paris (FR). 



(81) ttats 



(national) : JP, US. 



(84) Etats designes (regional) : brevet europeen (AT, BE, BG, 
CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HU, IE, 
IT, LU, MC, NL, FT, RO, SE, SI, SK, TR). 

Publiee : 

— sans rapport de recherche intemationale, sera republiee 
dis reception de ce rapport 

En ce qui conceme les codes d deux lettres et autres abrevia- 
tions, se rSferer aux "Notes explicatives relatives aux codes et 
abreviations" figurant au debut de chaque numero ordinaire de 
la Gazette du PCT. 



I (54) Title: DEVICE AND METHOD FOR ROBUST DECODING OF ARITHMETIC CODES 

I (54) ntre : DISPOSIFIF ET PROCEDE DE DECODAGE ROBUSTE DE CODES ARITHMETIQUES 



< 




1... ENCODER 
2...DECODER 
6...PROCESSING MODULE 
7...PRODUCT MODEL 
8...SOURCE MODEL 
9...ENCODER MODEL 
10...DECODER MODEL 



o 
o 

o 



(57) Abstract: The invention concerns a decoder (2) comprising a first input for receiving a coded flow of second binary elements 
(Yd). It comprises a second input for receiving channel properties (Ic) designed to define probabilities of receiving second binary 
elements, upon transmitting first binary elements, a first module (12) defining a source model (8) adapted to define the probabilities 
for x-aiy symbols associated with transitions between source states in a source state diagram, a so-called product model (7), adapted 
to define a correspondence between the x-aiiy symbols and the first binary elements produced in a product state diagram, a product 
state being a function of a source state, a processing module (6) adapted to calculate probabilities of decoding x-ary symbols, knowing 
bits of the coded flow of second binary elements, firom the channel properties (Ic), of the source model (8) and of the product model 
(7), and adapted to reconstitute the most probable flow of x-ary symbols from said computed probabilities. 

[Suite sur la page suivante] 
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(57) Abrege : L' invention conceme un dficodeur (2) comprenant une premifere entrSe pour rccevoir un flux cod6 de seconds 616nients 
binaires (Yd). II comprend une deuxi^me entree pour recevoir des propri^tds de canal (Ic) propres h d^finir des piobabilitds de 
recevoir de seconds dl^ments binaires, sur Emission de premiers dl6ments binaires, un premier module (12) d^finissant un module 
source (8) propre k d6finir des probabilit6s pour des symboles x-aires associfis S des transitions entre 6tats sources dans un diagramme 
d'6tats source, un modfele dit "produit" (7), propre h d^finir une correspondance entre les symboles x-aires et de premiers Pigments 
binaires, en fonction d'6tats produits dans un diagramme d'dtats "produit", un 6tat produit 6tant fonction d'un €tal source, un module 
de traitement (6) adapt6 pour calculer des probabUit^s de decoder des symboles x-aires, connaissant des bits du flux codfi de seconds 
£I£ments binaires, k partir des propri^tfis du canal (Ic) , du module source (8) et du modfele produit (7), et adapts pour reconstituer le 
flux de symboles x-aires le plus probable k partir de ces probabilit£s calcul£es. 
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Dispositif et proc6de de deco dage robuste de codes arithmetiques 

L*iiivention conceme la compression/decompression de donnees num6riques, notamment 
5 pour des signaux multimedia (audio, image, vid6o, parole), et la transmission robuste de ces 
donnees sur des r6seauxbruites, tels que des r6seaux sans fils, des communications mobiles. 

Pour r6duire le d6bit de transmission des donn6es numeriques, on les comprime, en 
cherchant k s'approcher du maximum th^orique que les sp6cialistes appellent "I'entropie du 
1 0 signal". Pour cela, on utiOdse souvent des codes statistiques aussi appel6s codes k longueurs 
variables, par exemple les codes de Hu^an. Ces codes ont n6anmoins Tinconvfinient d'Stre 
tres sensibles aux erreurs de transmission. L'inversion de un bit pent condxiire h. ime 
desynchronisation du d6codeur, qui a pour consequence un d6codage erron6 de toutes les 
donnees qui suivent la position du bit erron6. 

15 

Les solutions actuelles de compression, transmission et decompression de signaux 
multimedia sur r6seau, sur lesqueUes on reviendra, se fondent sur Thypothfese qu'une 
certaine quality de service du transport des domi6es est garantie. En d'autres termes, elles 
supposent que les couches de transport et de liaison, en s'appuyant sur Tutilisation de codes 

2 0 correcteurs, vont permettre d* atteindre un taux d'erreur r6siduel quasi nul (c' est-^-dire vu par 
I'application de compression et de decompression). Mais cette hypothfese de taux d'erreur 
r6siduel quasi nul n'est plus vraie lorsque les caract6ristiques des canaux varient dans le 
temps (canaux non stationnaires), notamment dans les r6seaux sans fil et mobiles, et pour 
une complexity du code de canal realiste. En outre, I'ajout de redondance par codes 

2 5 correcteurs d'erreiirs conduit k r6duire le d6bit utile. 

Le besoin se fait done sentir de nouvelles solutions de codage/decodage. 
La presente invention vient proposer des avancees en ce sens. 

30 

L'invention conceme im procede de d6codage comprenant les etapes suivantes: 

a. prevoir im modMe source propre k definir des probabilites pour des symboles x-aires, 

associ6s k des transitions entre 6tats sources dans un diagranune d'etats source. 
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un module dit "produit", propre k d6fimr une correspondance entre les symboles 
x-aires et de premiers 61ements binaires, en fonction d'etats produits dans un diagramme 
d'etats "produir, un 6tat produit etant fonction d'un 6tat source 

b. recevoir des propri6t6s de "canal", propres k d6finir des probabiUtes de recevoir de 
5 seconds elements binaires, sur emission de premiers 616ments binaires, 

c. pour un jQux cod6 regu de seconds 616ments binaires, calculer des probabiUt6s de d6coder 
des symboles x-aires, connaissant des bits du flux de seconds elements binaires, 
respectivement des probabnites d'aboutir dans des 6tats produits connaissant des bits du flux 
de seconds 616ments binaires, 

10 h partir des propri6tes de canal, du modele source et du modele produit, 

d. reconstituer le flux de symboles x-aires le plus probable a partir des probabilit6s calcultes 
k l'6tape c. 

Avantageusement, le module produit est 6tabU k partir du modfele source et d'un modfele de 
15 transfert, propre k 6tablir une correspondance entre des symboles x-aires et de premiers 
elements binaires, en fonction de probabilit6s associ6es a des symboles x-aires. Le modfele 
source comprend des transitions associees a une correspondance entre des symboles m-aires 
sources et des symboles x-aires cibles, en particulier m^x et x=2. 

20 De pr6f6rence, les modules de produit et de transfert sont de type arithm6tique et le modele 
de transfert est im modele de codage ou de d^dage. 

Hus pr6cis6ment, I'etape c. comprend le calcul, par 6tapes, des probabilites de decoder un 
symbole x-aire connaissant des bits du flux de seconds 616ments binaires. 

25 

Dans une premiere r6alisation selon I'invention, I'etape c. comprend, pour chaque 6tape k 
partir d'un nombre donn6 d'6tapes et selon un critdre de s61ection donn6, la selection de 
certaines probabilit6s parmi les probabiUt6s de decoder un symbole x-aire, connaissant des 
bits du flux de seconds Elements binaires, calcul6es lors d'une 6tape. 



30 



Avantageusement, le critfere de s61ection de I'etape c. comprend un nombre fix6 de 
probabilites k garder parmi les plus grandes des probabmt6s. Altemativement ou 
additionnellement, le critfere de selection de I'etape c. comprend un seuil minimal compare 
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a»x probabiUt^ de iccevoir de seconds 616ments binaiies, sur Emission de piemlets 
a6me„« btoaires, de ma»»» i ne m6moriser, . chaque etape, que les probabmt6s de 
decoder un symbole x-ai», connaissant des bits du flux de seconds 416menK binaires, 
calculees&partir des probabiHt&deiecevoiide seconds 616ment8binaires,sur6ndsslonde 

5 premiers aimentsbinaiies, plus grandes que ceseuil minimal. 

Depr«Krence.r6tapeccomprendraaboratlond>unarbreconstitu6d'etatsrelifespardes 
ttansitlons. chaque 6tat coirespondant & une tope de calcul de probabiUt6s et chaque 
ttansition. au depart d'un itat. coirespondant i V une de ces probabiUtes calcul6es. Ams^ la 
0 selection de certaines probabilitfs parmi les probabiUt6s de decoder un symbole x-aue, 
connaissant des bits du flux de seconds «16ments binaires, correspond i la constructwn 
d'6tatscorrespondantaunsous^nsembledetrandtionsdel-aArefonctiondesditescertames 

probabilitds. 

15 De plus l'6tape d. comprend le calcul du produit des probabilit6s coirespondant il des 
ttansitianssuccessrvesdansraibreetlasaectionduproduitleplusgiandcoiiespondantaux 

transitions successives les plus probables et au flux de symboles x-aiies le plus probable. 

Selon one premitee option, I'tope c comprend le calcul, pour un nombre dom.6 de 
20 symboles x-aires successifi a decoder, des probabiUtSs de d6codei mie sequence de 
symboles x-aire connaissant des bits du flux de seconds dWments binaires. 

Selon une deuxieme option, l'6tape c. comprend le calcul, pour un nombre donn6 de bits 
successife du flux de seconds 616ments binaires, des probabiUt6s de dfcodei une sequence 
25 de symboles x-aire, comialssant des bits du flux de seconds iKments binaires. 

Dansunedeuxi6mer6allsationselonrinvention,ipartirdumodaepioduit6tablissantladite 

correspondance, r6tape c. comprend 

cl. la construction successive d'6tats reUes par des transitions d'un diagramme d'6tats 
30 produit depuis un etat d'origine a un 6tat final, chaque 6tat definissant un nombre attendu 
de symboles x-aires d6cod6s pour un nombre domi6 de bits du flux de seconds 616ments 
binaires depuis I'^tat d'origine. 
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Avantageusement, la construction de I'etape c. comprend 

c2. la suppression successived'6tatsdudiagranmied'etatsproduit,depuisl'etatfinalal'et^^ 
d'ori^e, pour lesquels le nombre attendu de symboles x-aires pour un nombre donne de 
bit du flux de seconds 616ments binaires est different d'un nombre connu maximal de 
5 symboles x-aires. 

Selon une premifere option, Tfitape c. comprend 

cl. le calcul, apr^s chaque 6tat construit, des premieres probabilites successives d'aboutir 
dans un 6tat donn6 connaissant des bits pass6s du flux de seconds 61ements binaires, 
10 c2. le calcul, pour chaque 6tat depuis I'etat final a l'6tat d'origine, des secondes probabiUt6s 
successives d'aboutir dans cet etat donne connaissant des prochains bits du flux de seconds 
616ments binaires. 

Selon une deuxi^me option, r6tape c. comprend 
15 c3. le calcul, pour chaque etat du diagramme depuis l'6tat d'origine a l'6tat final, des 
premieres probabilites successives d'aboutir dans cet 6tat donn6 connaissant des bits passes 
du flux de seconds elements binaires, et , pour chaque 6tat depuis I'etat final a I'etat 
d'origine, des secondes probabiUt6s successives d'aboutir dans un 6tat donne connaissant 
des prochains bits du flux de seconds elements binaires. 

20 

De pr6f6rence, l'6tape c. comprend le calcul de la probabilit6 de chaque etat en effectuant 
le produit des premieres et deuxi^mes probabilit6s pour chaque 6tat et l'6tape d. comprend 
le calcul des produits de probabiUt6s des diff6rents 6tats successifs possibles puis la 
selection du produit maximal. 

25 

Avantageusement, r6tape d. comprend I'etablissement du flux de symboles x-aires 
correspondant h ces 6tats successife en utilisant la correspondence du modele produit. 

L'inventionconceme6galementund6codeurcomprenantunepreniifereentr6epourrecevoir 
30 un flux cod6 de seconds elements binaires. Ce decodeur comprenant une deuxidme entree 
pour recevoir des proprietes de canal propres ^ d6finir des probabiUt6s de recevoir de 
seconds 616ments binaires, sur 6mission de premiers 616ments binaires, un premier module 
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_ un modele source propre a d6finir des probabiUt6s pour des symboles x-aiies associ6s k des 
trai^tions entre 6tats sources dans un diagranune d'etats source, 

_ un modfele dit **produir, propre h definir une correspondance entre les symboles x-aires 
et de premiers 616ments binaires, en fonction d'6tats produits dans un diagramme d'6tats 
5 "produit", un 6tat produit 6tant fonction d'un €tat source, 

_ un module de traitement adapte pour calculer des probabilit^s de d6coder des symboles 
x-aires, comiaissant des bits du flux code de seconds Elements binaires, respectivement des 
probabiUt^s d'aboutir dans des etats produits connaissant des bits du flux de seconds 616- 
ments binaires, k partir des propri6t6s du canal, du modele source et du module produit, 
10 et adapts pour reconstituer le flux de symboles x-aires le plus probable a partir de ces 
probabilit6s calcul6es. 

D'autres caract€ristiques et avantages de I'invention apparaitront k I'examen de la description 
d6taillee ci-apres, et des dessins annexes, sur lesquels : 

15 

- la figure 1 illustre un ensemble comprenant un codeiir et un decodeur selon I'invention, 

- la figure 2 est une vue g6n6rale du proced6 de codage impl6mentable dans tm codeur selon 
I'invention, 

20 - la figure 3 est un diagramme formant vue g6n6rale du proc6d6 de d6codage impl6mentable 
dans un decodeur selon I'invention, 

- les figures 4A, 4B et 4C illustrent trois repr6sentations differentes d'un m6me modMe dit 
"source" 6tablissant une correspondance entre les symboles de la source et des sequences 
de bits, 

25 - les .figures 5 A et 5B illustrent deux reprdsentations differentes d'une meme correspondance 
entre des sequences de symboles et des sequences de bits, basees sur le modMe dit "source" 
des figures 4A et 4B, 

- la table 1 illustre une representation sous forme de table d'un modele dit "codeur", 

- la table 2 illustre une representation sous forme de table d'un modele dit "d6codeur", 
30 - la figure 6A illustre une representation sous forme de table d'un modfele dit "produit 

source-codeur"selon I'invention, 

- la figure 6B illustre une representation sous forme de treillis du modele dit "produit source- 
codeur" de la figure 6A selon I'invention, 
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- les figures 7A et 7B fllustrent deux representations partieUes sous forme de treillis du 
modele dit "codeur" de la table 1, 

- la figure 8 illustre une repr6sentation generalisee d'un module dit "produit source- 
codeur"selon Tinvention, 

5 - la figure 9A iUustre une representation sous forme de table d'un modMe dit "produit 
source-decodeur"selon I'invention, 

-la figure 9B illustre une representation sous fomiede treillis dumodele dit "produit source- 
d6codeur" de la figure 9A selon I'invention, 

- la figure 10 illustre une representation g6n6ralis6e d'un modele dit "produit source- 
10 decodeur"selon I'invention, 

- la figure 11 iUustre le procede de decodage dans une premiere r6aUsation selon 1' invention, 
-la figure 12 iUustre le proc6d6 de d6codage dans une deuxi&me realisation selon 1' invention, 

- la figure 13 illustre une representation sous forme de treillis r6alis6e h partir du procede de 
d6codage de la figure 11 ou 12 , 

1 5 - la figure 14 illustre le proced6 de d6codage dans une troisieme realisation selon I'invention, 

- la figure 15 illustre le proc6d6 de decodage dans une quatrifeme realisation selon 
I'invention. 

BoL outre: 

2 0 - I'annexe 1 contient des expressions mathematiques utilisees dans la presente description. 

- • Les dessins et les amiexes a la description comprennent, pour I'essentiel, des elements de 
caractere certain. lis pourront done non seulement servir ^ mieux faire comprendre la 
description, mais aussi contribuer a la definition de I'invention, le cas echeant. 

25 

De maniere generale, un systeme de compression de signaux multimedia (image, video, 
audio, parole) fait appel ^ des codes statistiques aussi appeies codes a longueurs variables. 
Ceux-ca permettent d'obtenir des debits approchant ce que les specialistes appellent 
'I'entropie du signal". Les codes les plus utilises dans les systfemes existants (en particuUer 
3 0 dans les standards) sont les codes de Huffitnan qui ont ete decrits dans I'ouvrage suivant : 
DA. H uffman : "A method for the construction of minimum redundancy codes", Proc. IRE, 
40 (1951), p.1098-1101. 
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Plus recemment, on a vu un regain d-interet pour les codes arithmetiques en raison de leurs 
performances accrues en terme de compression. lis permettent en effet de decoupler le 
processus d'encodage du module suppos6 de la source. Ceci permet aisement dhitiHser des 
modeles statistiques d'ordre sup6rieur. Ces codes arithm6tiques ont ete d6crits dans des 
5 ouvrages tels que 

[1]- J. J. Rissanen "Generalized kraft inequality and arithmetic", IBM J.Res. Develop., 

20:198-203, Mai 1976 

[2]- JJ. Rissanen, "Arithmetic Coding as number representations". Acta Polytech. Scand. 
Math., 31:44-51, D6cembre 1979 
10 ainsi que dans des brevets am6ricains US 4 286 256, US 4 467 317, US 4 652 856. 

Jusque recemment, la conception des systfemes de compression se feisait en supposant une 
quaHte de service transport garantie. On supposait en effet que les couches inferieures du 
modeleOSIincorporent des codes correcteursd'erreursgarantissantuntauxd'erreurr6siduel 

15 vu de I'application qu^i-nul. 

Les codes a longueurs variables pouvaient done Stre largement utilises malgre leur forte 
sensfljiHte au bruit de transmission. Cette hypothfese de taux d'erreur rdsiduel quasi nul n'est 
plus vraie dans les reseaux sans fil et mobiles, dont les caract6ristiques des canaux varient 
20 dans le temps (canaux non stationnaires). Ce taux d'erreur residuel vu par le d6codeur des 
signaux de source est souvent loin d'etre negligeable. Toute erreur dans le train binaire pent 
engendrer une d6-syncbronisation du d6codeur et done une propagation des erreurs sur la- 
suite des informations d6cod6es. 

2 5 Pout paUier ce problfeme de propagation, les standards de premieres g6n6rations (H.261, 
H.263, MPEG-1, MPEG-2) ont incorpor6 dans la syntaxe du train binaire transmis des 
marqueurs de synchronisation. Ce sont des mots de code longs (16 ou 22 bits constitu6s 
d-une suite de 15 ou 21 bits a '1' suivis d'un '0') non emulables par des erreurs se produisant 
sur les autres mots de code et qui peuvent done etre reconnus par le d6codeur avec une 

30 probability proche de '1*. 

Cela conduit k structurer le train binaire en paquets d61imit6s par ces marqueurs de 
synchronisation. Cela permet de confiner la propagation des erreurs au sein du paquet. 
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Cependantsimieerreurmtervientendgbutde paquet la suite dupaquetpeutetreperd^^ 
outre, lap6riodidtedecesmarqueursdesynchronisationdoitetrerestreintepou^ 

perte trop grande en efficacit6 de compression. 

Les nouveaux standards ( H.263+ et MPEG-4) ont alors fait appel a des codes a longueurs 
variables reversibles (RVLQ. La particularit6 de ces codes est qu-ils peuvent etre decodes 
du premier vers le dernier bit dHm paquet, et, ^ Averse, du dernier vers le premier bit du 
paquet. 

Si une erreur s'est produite en milieu de paquet, cette symetrie du code permet de confiner 
lapropagation des erreurssurunsegmentenmiUeude paquet aulieude la propagerjusqu'a 

la fin du paquet d61imite par un marqueur de synchronisation. Cependant, la symetrie du 
code engendre une perte en efficacite de compression par rapport ^ un code de Huffman de 
I'ordre de 10 %. En outre les codes ^ longueurs variables r6versibles n'6vitent pas 
compl&tementleproblemede propagation des erreurs : si une erreur se produit en d6but et 
en fin de paquet, tout le paquet risque d'etre erron6. 

La conception de procedes de codage/decodage robustes au bruit de transmission et bas6s 
sur une famille de codes periformants en compression (i.e., qui permettent d'approcher 
I'entropie de la source), constitue un enjeu important, notamment pour les faturs systemes 
de communicationmultim6dia (image, vid6o, audio, parole)mobiles. Pour ces systemes,de 

nouveaux standards sont k I'etude i la fois au sein de ITTU (Intemational Telecommmnca- 
tion Union) et de IISO (Intemational Standard Organization). 



25 



30 



Bien que les standards occupent une place preponderante dans lesecteur des t616commum- 
cations, une teUe femiUe de codes pent aussi trouver des appUcations sur des marches de 
niche faisant appel h des solutions proprietaires. 

L'inventiond6criteconcemenotammentundispositifcodeur/d6codeurpourunefamiUe^ 
codes largement utilises dans les systfemes de compression comme des codes de type 
arithm6tique comprenant les codes arithm6tiques et les codes quasi-arithmetiques. 
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I^prmcapesducodagearithmetiqueetquasi-arithmetiquesontdeveloppesa^^^ 
d6velopp6s plus en detail dans I'ouvrage [2] et les ouvrages suivants 
[3] - 1. H. Witten and R. M. Neal and J. G. Oeary . Arithmetic coding for data compression. 
Communications of the ACM, 30(6):520-540, Juinl987, 
5 [4] P. G. Howard and J. S. Vitter, Image and Text Compression, pages 85-112. Kluwer 
Academic Publisher, 1992. 

Dans le reste de la desoiption, r utilisation du mot «s6quence» designe un flux ou une suite 
d'61ements. Par exemple, ime sequence de bits, respectivement de symboles d^signera un 
1 0 flux ou une suite de bits, respectivement de symboles. 

Le Principe du codage consiste de f agon g6n6rale k proc6der aux etapes suivantes : 

soit A = Ai ... une sequence de symboles de source quantifies qui prennent leur valeur 

dans un alphabet fini A compos6 de M = 2" symboles, A={ai ... a^}. Get alphabet a une 

15 distribution stationnaire qui indique pour chaque symbole une probabiUte stationnaire 
associ6e. Cette sequence de symboles M-aires (appelee egalement source A) est convertie 
en une sequence de symboles x-aires (avec x<:M). Dans le cas ou cette sequence de 
symboles M-aires est convertie en une sequence de symboles binaires S=Si...Sk, (appel6e 
egalement source S), K est d6finit par K=qxL. Les variables M et x d6finissent des entiers 

20 h. partir de 2. Ainsi, dans I'exemple, x = 2 et M=4. 

A titre d'exemple uniquement dans le reste de la description, et pour des raisons de 
simplification, on consid6rera que x=2. Cette conversion utiUse un modele de source decrit 
ci-apres comprenant une correspondance entre la source M-aire A et la source binaire S. 

25 .Cette.sequence de symboles binaires S est convertie son tour en une s6quence de premiers 
616ments binaires d-information U=Ui ...U^, par l'interm6diaire dHm codeur qua- 
si-arithm6tique de pr6cision T. La longueur N de ce train binaire est une variable aleatoire, 
fonction de S, la sequence de symboles binaires, elle-m6me fonction de A, las6quence de 
symboles M-aires. Le train de premiers 616ments binaires U est transmis, a titre d'exemple 

30 uniquement, sur un canal sans memoire. Ce train de premiers el6ments binaires U est regu 
oomme un train de seconds elements binaires Y en raison d'erreurs introduites lors de la 
transmission par le canal de communication. Les couches inf6rieures du systfeme de 
communication permettent en effet de determiner au moins les propri6t6s courantes Ic du 
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canal de commimication, par exemple le taux d' enenrs introduites par le canal dans les bits 
communiques, des mesures de confiance sur des bits re§us. Ces demieres mesures 
permettentd'estimerdesprobabiUt&derecevoirun second 616mentbinairecon^^ 
premier eUment binaire communique sur le canal. Ces probabiUt^s sont estimees comme 
indique en annexe (6quation 21 avec 1' indice i etant un entier) k partir d'une des propriet6s 
courantes Ic du canal : p, la probabilit6 d'erreur sur le canal. 



Le Principe du d6codage consiste k estimer la suite de symboles A, connaissant les s 
elements binaires appelfe 6galement par la suite "observations y". Dans le reste de la 
10 descriptionjeslettresmajusculesserontutilis6espourd6noterlesvariablesal6atoire^^ 

minuscules pour les realisations, ou observations de ces variables. Pour noter une suite de 
variables successives, la notation X„'' ={Xn, Xn+i—Xv}. 

Le Principe de codage/d6codage pent 6galement 6tre directement appHqu6 k une source 
15 correspondant non pas a des symboles M-aires (A) avec M>2 mais a des symboles binaires 
(5) avecM=2. Dans la suite de la description, unsymbolex-aire,respectivementunsymbole 

M-aire, comprend notammentle cas du symbolebinaire (x=2, respectivementM=2) etle cas 
du symbole pour lequel x>2, respectivement M>2. 

20 La figure 1 illustre un exemple d'ensemble de codeur 1 et de decodeur 2. Le codeur et le 
decodeur ont respectivement une entree Ec, Ed et une sortie Wc, Wd. Lors du codage, un 
flux de symboles x-aires a coder est regu en entr£e du codeur en Ec. Le codeur transmet en 
sortie Wc un flux de premiers 616ments binaires, appele premier flux de bits Uc, genere par 
codage du flux de symboles x-aires, par exemple sous forme comprim6e. Ce premier flux 
25 de bits Uc-est envoy6, par I'intermediaire d'unxanal 11, k Tentrge Ed du decodeur 2. Le 
canal, ay ant pu erroner le premier flux de bit (par exemple inverser certains bits du premier 
flux), transmet un flux de seconds 616ments binaires, appele second flux de bits Yd, a 
rentr6e du decodeur 2. Selon I'invention, un module de traitement 6 regoit et traite ce 
second flux de bits ainsi que les propriet^s Ic du canal, communiqu6es par le canal, pour 
30 obtenir en sortie Wd du d6codeur, un flux de symboles Sd. Un module de traitement 6 est 
propre k travailler avec le module de modMes 12. Ce module de modules comprenant 
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-un module de soiirce 8 permettant de defimr des probabiUtes pom des symboles x-aires 
assoa6s^des transitions entreetatssomcesdansundiagraiiimed'6tats source 
- un modele dit "produif 7 permettant de definir une correspondance entre les symboles x- 
aires et de premiers 616ments binaires, en fonction d'etats dans xm diagramme d'etats 
5 '^roduif , un 6tat produit 6tant fonction d'un 6tat source et d'un 6tat d'un modele de 
transfert. 

Le modele produit 7 est 6tabU h partir du modele source 8 et d*un modele de transfert 9 ou 
10. Le modele produit peut etre construit dynamiquement k partir du modMe de source et des 
10 modelesdetransfert9oulO.Dansuneautrerealisationpossible,lemodeleproduitpeutetre 
impl6mente dans le module de modeles sans etre construit dynamiquement. Le module de 
transfert comprend un modele de codage 9 ou un mod^e de d6codage 10. Ce modele de 
transfert permet d'6tablir une correspondance entre des symboles binaires et de premiers 
elements binaires, en fonction de probabilit6s associ6es k des symboles binaires. 

n est ggalement possible de partir d'une s6quence de symboles M-aire pouvant gtre au 
pr6alable transformer en une s6quence de symboles x-aires avant d'etre compress6e en 
utilisant le modMe source. 
20 Dansuner6alisationpossible,cesmodelespeuventetrepr6-calculesetmisenmemoiredans 
un module exteme au module de modele du decodeur. Hs peuvent egalement etre utilises k 
distance, par exemple en se servant d'un rfiseau local de type Etiiemet ou un r&eau plus 
6tendu de type internet. 

25 Le module de traitement 6 est adapte pour calculer des probabilites de symboles x-aires, 
connaissantles bits du flux desecondsa6mentsbinaires,apartir des propri6t6sIcducan^^ 

du modele source et du modfele produit. Le module de traitement 6 est adapte pour 
reconstituer lefluxdesymbolesx-airesleplusprobableapartirdeces probabiUtes calcul6es 

et pour reconstituer le flux de symboles M-aires i partir du module source si un flux de 

3 0 symboles M-aires a 6t6 cod€. 
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Le precede decoulant de ce dispositif selon I'mvention est d6crit dans le reste de la 
description et permettra, notamment, de mieux comprendre le fonctionnement d'un tel 



5 La figure 2 illustre un exemple de precede de codage pouvant utiliser Tinsertion de 
marqueursde synchronisation. <>proc6de est implement© dansimcodeurrecevant en entr^^ 

une source (M-aire), par exemple une s6quence de donnfies. 

• A l'6tape 100, lorsque la s6quence de donnfies ne n6cessite pas de marqueurs M-aires, le 
1 0 precede continue a I'etape 104. Si, au contraire, des marqueurs M-aires doivent §tre ins6r6s 
dans la sequence de donnees, la frequence, la taille et la valeur de ces marqueurs sont 
foumies par le codeur pour effectuer Tinsertion de ces marqueurs h. 1' 6tape 102. 

A l'6tape 104, U est v6rifi6 si la s6quence de donn6es (comprenant ou non des marqueurs de 
1 5 synchronisation) necessite une conversion M-aire/binaire. Si tel n'est pas le cas, la sequence 
de donnees est done binaire et est soumise au codage arithmetique (quasi-arithm6tique dans 
I'exemple de la figure) k Ffitape 112. Sinon, la conversion M-aire/binaire de la sequence 
s'effectue h r6tape 106. A I'etape 108, si des marqueurs binaires doivent 6tre inseres, la 
frequence, la taiUe et la valeur de ces marqueurs sont foumies par le codeur pour effectuer 
2 0 rinsertion de ces marqueurs h. l'6tape 110. 

A l'6tape 112, la sequence de donn€es M-aire ou binaire est soumise au codage quasi- 
arithm6tique dont la complexity est contr616e par le parametre T. Si T est grand, le codage 
quasi-arithm6tiquedevientidentiquekun codage arithm6tique.nenr6sulte une compression 

2 5 _maximale de la sequence de donn6es binaire en un train de bits. 

La figure 3 illustre un exemple de proc6d6 de d6codage prenant en compte les marqueurs de 
synchronisation ins6r6s. Ce proc6de est impl6ment6 dans un d6codeur recevant en entr6e le 
train binaire et des informations concemant la source M-aire ou x-aire (notamment binaire), 
30 la frequence, la taille et la valeur des marqueurs de synchronisation 6ventuels. 



Al*6tape 120, diff6rents modes de d6codage peuvent 6tre s61ectionn6s : 
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- un d6codage instantand r6tape 124, 

- im decodage s6qiientiel selon Finvention, qui est d6tam6 dans le reste de la description, k 
l'6tape 122, 

- un d6codage optimal, qui est d6taill6 dans le reste de la description, selon I'invention k 
5 l'6tape 126. 

A r 6tape 128, il est v6rifie si la s6quence de donn6es obtenue aprfes d6codage n6cessite une 
conversion binaire/M-aire. 

10 Si tel est le cas, la sequence de domi6es est done binaire et a I'etape 130, il est v6rifi6 si la 
sequence de donn^es comprend des marqueurs binaires. Si tel est le cas, ces marqueurs sont 
supprim6s k r 6tape 132 en utilisant les informations sur leur fr6quence et leur taille. Apr^ 
l'6tape 130 ou I'etape 132, la s6quence de donn6es est soumise a la conversion binaire/M- 
aire a r6tape 134. 

15 

Apres I'etape 128 ou 134, il est v6rifi6 si la sequence de donn6es comprend des marqueurs 
M-aires k I'etape 136. Si tel n'est pas le cas, le decodage de la sequence de donnees (ou 
source) est terming, sinon, les marqueurs sont supprimes a I'etape 138 pour obtenir la 
sequence de donnees (ou source). 

20 

. Les figures 4k5 illustrent des modules de source pour la conversion M-aire/binaire et 
binaire/M-aire d'lme sequence de donnees (ou source). 

La figure 4A illustre la representation binaire des 4 symboles d'une source 4-aire, c'est-k- 
2 5 dire_une source prenant valeur d^s un alphabet 4-aire. Ce module source pent Stre un arbre 
binaire de prof ondeur q, comme cela est montr6 sur la figure 4 A pour q=2 et M=4. Dans une 
variante, cet arbre pent etre represent^ par une table de correspondance. Le noeud noir est 
appel6 radne de I'arbre, les noeuds blancs sont les noeuds interm6diaires, les noeuds grises 
sont appel6s feuiUes de 1' aibre. Les probabiUt6s P de chaque symbole M-aire correspondent 
30 aux probabiHt6s stationnaires de la source. Les probabilit^s de transition (non representees) 
sur les branches de cet arbre bmaire sont calcul6es k partir des probabiUtfis stationnaires. 
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lAfiguie4Brepresentel'automatepermettantdeconvertirlas6quencedesymb^ 
mdfipendants en une s6quence de symboles bmaires. Ce modele de somce peut egalement 
Stre represents en figure 4B sous forme d'un automate a trois etats : C = 0 pouvant etre 1' etat 
initial, C=l et C=2 les 6tats interm6diaires. En variante, ce modele de source peut 6tre 
5 repr^sente en figure 4C sous fomie d'un treillis avec les m6mes 6tats : C=0 a gauche, 1' 6tat 
initial reUe aux etats intermediaires C=l et C=2 a droite, ces Stats interm6diaires, k gauche, 
6tant reU6s h l'6tat C=0 k droite. De plus, dans cet exemple, les probabilites de chaque 
symbole x-aire (io, symbole binaire) sont indiqu6es sur les transitions correspondantes. 

10 Pour un flux de donnees comprenant plusieurs symboles M-aires non indSpendants, un 
modele complet de la source est obtenu en connectant des modeles locaux successife 
comme indiqu6 sur la figure 5 A. Un modMe local correspond a un modMe de source pour 
un flux comprenant un symbole comme iUustrd sur la figure 4A. En r6f6rence aux figures 
5, pour un flux de deux symboles M-aires d6pendants, le modfele complet de la source 
1 5 consiste a identifier les f euilles du premier arbre binaire avec la radne de I'arbre suivant, 
racine repr6sent6e par un noeud noir sur les figures 5A et 5B. La figure 5A combine ainsi 
des arbres binaires entre-eux. En variante, la figure 5B combine un premier arbre binaire 
avec des automates correspondants prenant pour 6tat initial et final les feuilles de I'arbre 
binaire. Cet automate permet de convertir une s6quence de symboles M-aires dependants en 
2 0 une sequence de symboles binaires. 

D'aprfes la figure 5A, les etats Q dSfinissent les noeuds possibles dans lesquels peut 6tre 
I'automate aprfes la production de k symboles binaires. Cet ensemble de noeud possible est 
symbolis6 sur la figure par un trait mixte reUant les noeuds d'un mgme Stat k. La sSquence 
25 Co, . . .,Ck est une chaine de Markov et le flux de symboles binaires correspondant est f onction 
des transitions de cette chaine. Les transitions appelSes puisqu'elles engendrent 
r Emission des symboles binaires S^, reprSsentent I'ensemble des transitions possibles entre 
I'ensemble des Stats C„.i et I'ensemble des Stats du modSle source. 



30 



A partir de cet automate stochastique, le flux de symboles binaires peut Stre modSlisS par 
un modele de Markov cachS. 
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Connaissant chaque probabiHtd stationnaire associee a chaque symbole binaire, chacune de 
ces probabmt6s correspondant k xm des segments de rintervaUe unitaire [0,1[, le codage 
arithmetique peimet, pour une sequence de symboles binaires, de d6teniiiiier 1' intervaUe de 
cette sequence. Ce dernier reprfisente un segment de PintervaUe unitaire et sa borne 

5 inferieure est issue de la somme des probabiUtes des s6quences de symboles correspondant 
aux sous-intervalles inferieurs. La largeur de cet intervalle est domi6e par la probability de 
la sequence de symboles correspondant k cet intervaUe. On appelle "intervalle courant", 
rintervalle correspondant h une partie de la sequence et done a I'^tat courant de cette 
partie de s6quence, lors du calcul de I'intervalle ou sous-segment associ6 k la sous s6quence 

1 0 correspondant h. V6taX Q. 

Des mises en oeuvre pratiques du codage arithmetique ont d'abord 6t6 introduites dans 
I'ouvrage [1], I'ouvrage suivant : 

[5]- R. Pasco. Source coding algorithms for fast data compression. PhD thesis. Dept. of 
1 5 Electrical Engineering, Stanford Univ., Stanford Calif .,1976 

et revisitees dans [2]. Un probleme qui se pose lors de cette mise en oeuvre est la n6cessite 
de disposer dhme grande pr6cision num6rique pour representer des intervalles avec des 
nombres r6els trfes petits. Cette difficult^ pent etre r6solue en se basant sur la representation 
binaire des nombres r€els dans I'intervalle [0,1[, ce qui est d^crit dans [3].Tout nombre 
2 0 appartenant a I'intervaUe [0,0.5[ a son premier bit 6gal a O,alors que tout nombre appartenant 
h I'intervaUe [0.5,1[ a son premier bit egal h 1. Par consequent, pendant le processus de 
codage, d6s que I'mtervaUe courant est entierement contenu dans [0,0.5[ ou [0.5,1[, le bit 
correspondant est 6mis et la taille de I'intervaUe est doubl6e. Un traitement sp6cifique est 
n6cessaire pour les intervaUes qui chevauchent % . Si I'intervaUe courant chevauche Vz et est 
2 5 entierement contenu dans [0.25,0.75[, U ne pent pas ttre identifi6 par un bit unique. Sa taUle 
est tout de meme doublee, sans 6mettre de bit, et le nombre de f ois (n) ou cette operation est 
effectu6e avant d'6mettre un bit est m6moris6e. n est le nombre de remises a I'echeUe 
effectu6es depuis la demifere emission d'un bit. Lorsqu'un intervaUe pour lequel un bit Up 
u, est 6mis est atteint, alors ce bit est suivi par la sequence de n f ois le bit de valeur oppos6e. 
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Lhitilisation de cette technique garantit que l^intervaUe courant satisf ait en pennanence low 
< 0.25 < 0.5 ^ high ou low < 0.5 < 0.75 ^ high, avec low et high les homes inffirieures et 
sup6rieuTes de I'intervalle couiant respectivenient. 

Le principe du codage arithmetique peut se modeUser par un automate stochastique dont les 
6tats E sont definis par trois variables : low, up et le nombre de remises k r^chelle. 
L'inconv6nient de ce codage est qu'il peut exister un tres grand nombre d'etats si la 
distribution stationnaire de la source n*est pas connue a priori ou si le flux comprend un 
nombre de symboles x-aires important. Le codage quasi-arithm6tique, 6galement appel6 
codage arithm6tique a precision reduite, permet de reduire le nombre d'etats possibles sans 
perte importante en efficacite de compression, comme d6crit dans I'ouvrage [4]. Pour 
effectuer le codage quasi-arithm6tique, I'intervalle r6el [0,1[ est remplac6 par I'intervalle 
entier [0,T[. L'entier T permet de contr61er le compromis entre la complexity et I'efficacitg 
de compression : si T est grand, alors les subdivisions de I'intervalle repr6senteront 
pr6cis6ment la distribution de la source. Par contre, si T est petit (proche de 1), toutes les 
subdivisions possibles de mtervaUe pourront gtre pr6-calcul6es, ces subdivisions 
repr6senteront seulement une approximation de la distribution de la source. 

Comme pr6sent6 dans la table 1, toutes les transitions entre 6tats et les Emissions de bits 
20 correspondantes peuvent etre pr6-calcul6es. Les operations arithm6tiques sont alors 
remplac6es par des lectures de table. 

Une s6quence de symboles binaires est convertie un flux de bits U^** par un aibre binaire. 
Get arbre peut 6tre vu comme un automate ou un modele codeur qui mod61ise la distribution 

25 du train binaire. Le codage (3*1111 symbole determine le choix d'un arc de I'arbre, auquel peut 
etre associ6e remission de bits. Chaque noeud correspond un etat E du codeur arithme- 
tique. Les transitions successives entre ces 6tats suivent la distribution de la source P(Sk | S^. 
i) pour une source de Markov d'ordre 1. Soit E^ I'etat de I'automate §L diaque "instant 
symbole" k. Comme pour le codage arithmdtique, r6tat E^ du codeur quasi-arithm6tique est 

30 defini par trois variables: lowS^, upS^ et nscl ^. Les termes lowS^ et upS^ d6signent les 
homes de I'intervalle resultant des subdivisions successives de [0,T[ correspondant au 
codage de la sequence Si^. La quantite nscl ^ est remise i z6ro chaque f ois qu'mi bit est 6mis 
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et mcr6ment6e chaque fois quHme remise h r6cheUe sans emission de bit est effectu6e. EUe 
repr6sente done le nombre de remises a I'echeUe effectuees depuis la demiere Emission de 
bit. Quand \m bit est 6mis, il est suivi par nscl ^ bits de valeur oppos6e. 

5 Dans la mesure ou il y a mi nombre fini de subdivisions possibles de l-intervalle [0,T[, il doit 
6tre possible de pr6-calculer tons les 6tats du codeur quasi-arithmetique sans conn^tre la 
source k priori. 

A titre d'exemple, la table 1 presente les etats, les sorties et toutes les transitions possMes 
10 dhm codeur quasi-arithm6tique de precision T=4 pour une source binaire. On s'int6ressera 
dans un premier temps aux ensembles CI et C2 de colonnes. La valeur de la variable nscl 
, n'est pas indue dans le module d'etat. Seuls les increments de cette variable sont signal6s 
par la lettre f dans le tableau comme dans I'ouvrage [4]. 

15 Le codeur a trois etats possibles, correspondant k des subdivisions entieres de I'intervalle 
[0,4[ prises par rintervalle courant [lowS,^ upS^L . On se reportera h I'ouvrage 

[6] P. G. Howard and J. S. Vitter, Design and Analysis of fast text compression based on 
quasi-arithmetic coding. In Data Compression Conference, pages 98-107, Snowbird, 
20 Utah,Mars-Avril 1993. 

pour le choix de ces subdivisions. En fonction de la probabiUte du symbole binaire d'entree 
0, rintervalle courant [lowS,, upS,[ sera subdivis6 en intervalles entiers. Suivant que, dans 
li colonne C2, le symbole binaire d'entree est 0 ou 1, les subdivisions en intervalles entiers 
25 -de I'intervalle courant [lowS^, upS,[ possibles conduisent k remission de bits indiquees ou 
k la remise k Vechelle appropriee avant de determiner le prochain etat de r automate. 

Dans lecas oil les symboles en entree sont des symbolesbinaires,le nombre d'etats pent etre 
encore r6duit en identifiant les symbolesbinaires comme " moins probable" (LPS) et '*plus 
30 probable" (MPS) dans la colonne C3, plutot que 0 et 1 dans la colonne C2. Cela revient k 
consid6rer la probabiUte de chaque symbole binaire plutot que la valeur du symbole binaire, 
les MPS et LPS pouvant correspondre soit k un bit 0 soit k un bit 1. Le nombre de 
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combinaisons possibles des probabiUt6s de la source binaire est r6dmt. Cela permet de 
combiner certaines transitions et d'61iminer des etats de 1' automate. 

La sequence Eo-E^ d'6tats successife du codeur quasi-aritimi6tique forme mie ch^e de 
Markov et les sorties du codeur sont fonctions des transitions sur cette chaine. 

De lameme mani&re quele codage quasi-arithm6tique, le d6codage peut se modeUser par 
un automate stochastique ^ nombre d'etats E, fini comme pr6sent6 sur la table 2. 

10 L'6tat d-un d6codeur arithmetique est d6fini par deux intervalles : [lowU„,upU„[ et 
[lowSKn,upSKnl.L'i^tervaUe[lowU,,upU„[correspondau segment del^^^ 

par la reception de la s6quence de bits U,". L'intervalle [1owSk„.upSk„[ est le segment de 
14ntervaUe[0A[obtenuquandla sequence desymbolesS-a6t6d6cod6e.Cetintervalle est 

mis ^ jour par cumul des probabiHtes de chaque symbole binaire d6cod6, de la mSme 
15 maniferequ'aucodagepourclmquesymbolecod6.nreproduitlefonctiomiementducodem^^ 

Un codeur et un d6codeur arithm6tique ne sont pas syndironises. En effet, au codage, la 
reception dW symbole n'entraine pas n6cessairement remission dSm bit. De mfeme, au 
d6codage, la lecture dSm bit n'entraine pas n6cessairement la production dhm symbole. 
2 0 Ainsi, si la lecture du premier symbole de la s6quence h coder n'entraine aucune emission 
de bit, il se peut qu'au dficodage, la lecture du premier bit suffise a decoder le premier 
symbole. Les deux intervalles sont mis a l'6cheUe comme au codage afin d'6viter les 
probl&mes de precision num6rique. 

2 5 Dans 1' exemple de la table 2, un automate stochastique est d6fini pour une valeur de T = 4. 

La table pr6sente les 6tats, transitions et sorties d'un decodeur quasi-aritimi6tique pour une 
source binaire, avec T=4 et la simplification ^flPS/LPS. 

Soit E„ l'6tat de cet automate a '^instant bit" n, c'est-a-dire k r instant de traitement du bit 

3 0 resu U„. Cet 6tat est defini par les valeurs des intervalles [lowU„,upU„[ et [1owSk„,upSk„ [. 

En fonction de la distribution stationnaire de la source (representee, colonne Kl, par la 
probabiUte du symbole MPS le plus probable), rintervalle courant [1owSk„upSk„ [ sera 
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subdivise en intervaUes entiers. Suivant que le bit d'entr^e est U„ = 0 dans la colonne K2 ou 
=1 dans la colonne K3, les subdivisions en intervaUes entiers de I'intervalle couraut 
|lowSKn,upSKa [ posslblcs couduisent k r6inission de symboles MPS ou LPS indiquees ou 
k la remise k I'echeUe appropri6e avant de determiner le prochain 6tat de r automate. 

5 

Un codeur, respectivement decodeur utilisant I'automate stochastique de la table 1,. 
respectivement table 2, d6marre k V6i&t =1, respectivement E^. =1. 

Diff6rents modeles sont envisag6s selon invention pour 6tre utilis6s dans des procedes de 
10 codage/d6codage et pour etre implement6s dans les codeurs/decodeurs correspondants. 
Ainsi, il est envisage un modele dit "produit" pouvant etre un modele resultant du produit 
des modules source et codeur ou un modele resultant du produit des modules source et 
d6codeur. 

15 De maniere generale, les etats du modele produit doivent rassembler les informations 
contenues dans les €tats de chacun des deux modeles (source et codeur ou source et 
d6codeur). Dans le cas g6neral, la taille de I'espace d'€tats du "modele produif ' ne peut pas 
gtre connue a priori. EUe peUt 6tre calcul6e k partir du module de source binaire et du 
parametre T. 

20 

Pour un modMe produit source/codeur, comme le nombre de bits, dans chaque element 
binaire, produit par chaque transition du modfele produit est al6atoire, la structure des 
d€pendances entre la s6quence de seconds 616ments binaires et les 6tats du modMe produit 
est al€atoire. Afin de "capturer"' cette structure de d6pendances, le processus de Markov, 

2 5 represents par lesjStats X,, du codeur selon le modele produit^est augment^ d'un compteur 

pour obtenir la structure de dependance suivante (X,N)=pCi4>Ii)-. (X»Nk)- Chaque 6tat 
du modele produit est d6fini par V6t&t du modele codeur, r6tat du modfele source et le 

nombre de bits 6mis quand le k-ieme symbole a €t6 code : pCk,Nk) = (lowSk,upSk,Cac,NJ. 

Cela conduit k la structure de d6pendances dScrite graphiquement par la figure 8. Suivant 

3 0 cette structure, une sequence de symboles binaires Sj^ est convertie en une sequence de bits 

Ui^,avec Nk le nombre de bits 6mis quand K symboles ont 6t6 cod6s. Etant donn6s un 6tat 
Xfc.i et un. symbole d'entrSe le modele produit sp6cifie les bits UNfc.i+i k qui doivent 
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etre emis et I'etat suivant X^. Certaines transitions peuvent n'6mettre aucun bit. Les 
probabiHt6s des transitions entre (X^N,^ = aowS„upS„Ck,N,J et I'etat suivant dans le 
treillis (X,,,^,.,) = aowS,,i,upS,,, A.i,N,.0 sont donnees par le module de source binaire, 
P(Qc.ilQc)= P(Sk.ilQ=). Les seconds elements binaires Y^^^^ kY^ sont obtenues ^ la sortie 
du canal de transmission lorsque les premiers Elements binaires U^k-i+i ^ ont 6te emis. 
Ces seconds elements binaires sont des observations sur les premiers 616ments binaires. 

Un exemple de modele produit issu des modules source et codeur est present^ d'apres les 
figures 6 et 7. L'exemple de modele produit definit dans la table de la figure 6Aest issu du 
I produit du modele source de la figure 4C et du modele codeur de la table 1. En th6orie, la 
taille de I'espace d'etats resultant de ce produit est donnee par le produit des tallies des 
espaces d'6tats des deux modeles (source et codeur). Toutefois, des simplifications ont Ueu, 
ce qui permet d'aboutir k un nombre d'6tats moins important. 

5 Le modele codeur aritimietique de la table 1 (T=4) utilisant le modele d'6tat simplifi6 de la 
oolonne C3 a ete represente sous forme de treiUis aux figures 7A et 7B, la figure 7A 
correspondent k une probability 0.63 ^P(MPS), Ik figure 7B correspondant a une probabilite 
0.37^P(MPS):S0.63. L'une oul'autre de ces figures peut gtreutilis6e suivant les probability 
de la source binaire. Les probabilites de la source binaire, resultant dhme conversion a partir 
0 dWe source M-aire, dependent de I'etat du modele de cette source binaire. Les transitions 
du modele produit source/codeur sont ainsi fonction de la distiibution de la source. La table 
de la figure 6A est constniite en fonction des 6tats du module de source de la figure 4C, 
de la probability des transitions S^, les transitions 8^=0 et 8^=1 de la figure 4C 6tant 
modifiees en Sk=LPS et Sk=MPS, et des transitions du module de codeur reprfisent^ aux 
J 5 figures 7A et .7B en fonction-de la probabilite de la source. La colonne Ml de la figure 6A 
ne contient que 4 ^tats du modele produit definis dans la colonne M2 par les variables 
d'6tats du modMe de source et du codeur correspondant. Le module de la source ay ant 3 6tats 
et celui du codeur ayant 2 6tats, le modele produit aura au maximum 6 ^tats. En pratique, 
des simplifications ont Ueu comme expUqu6 d-apres H r aide des figures 7A et 7B. La figure 
30 7Amontre que pour un 6tat £^=0 du codeur, il est possible de continuer dans un etat B^=l 
du codeur pour une probabiUt6 du modele de source 0,63<P(MPS). Par contre, la figure 7B 
indique qu'il n'est pas possible d'atteindre I'dtat By,=l du codeur k partir de r6tat Ek=0. 
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Ainsi, dans le modMe produit de la figure 6A, aucun etat du modfele produit X^=4 et X^=5 
correspondant k des paires d'etats du modele source et codeur (E^=l, C^=l) et (£^=1, C^=2) 
n'existe pour la loi de probabiUt6 telle 037<P(MPS) <0,63 du modele de source. I^s 
colonnes M3 et M4 indiquent, pour le symbole en entr6e (MPS ou LPS), les bits 6mis et 
r6tat suivant du modMe produit. 

Pour un module source/d6codeur selon la figure 9A ou 9B, les etats de ce modele produit 
doivent rassembler les inf onnations des 6tats des modules de source et de d6codeur. Un etat 
X„ de ce modele produit est done defini par Xa=(lowU„,upU„4owSKn,upSK„,CK„), ^ ^tant le 
) nombre de symboles decodes quand n bits ont ete regus. Le nombre de symboles produits 
par chaque transition du modMe produit est al6atoire. Par consequent, la structure des 
d6pendances entre la sequence de second 616ments binaires et les symboles decodes est 
al6atoire. La chaine de Markov Xi-X^ du module produit source/d€codeur est augment6e 
par une variable compteur K„ pour donner la chaine de Markov (X,K)=(Xi,Ki) ... CXn,Kn) 
5 ce qui aboutit a la structure de d6pendances illustree h la figure 10. Suivant cette structure, 
une sequence de bits Ui^ est convertie en une sequence de symboles Sj"^, avec le nombre 
de symboles decode quand N bits ont €t6 regus. Etant donnes un etat X„ et un bit d'entr6e 
U„^i, I'automate produit la s6quence de symboles binaires Sr^j^S et sp6cifie r6tat suivant 
X,^i. Les probabilites des transitions entre (X„,K^ et (X„^i,K^i) dans le treilUs d6pendent 
0 du modele de source binaire. EUes sont domi6es par la formule en annexe (17). Comme pour 
le module source/codeur, des simplifications d'etats de ce modele sont possibles en foncdon 
du modfele du d6codeur et du modMe de source utilis6. Dans l'exemple de la figure 9A ou 
9B, le modMe source utilis6 est celui de la figure 4C et le modele d6codeur, celui de la table 
2. 

15 

Les proc6d6s de d6codage robuste pour codes arithmetiques sont bases sur les modeles de 
d^pendances d6cTits pr6c6demment. 



30 



Une premifere realisation du proc6d6 de d6codage robuste est iUustr6e par la figure 11. 
n est fait reference a 1' annexe 1 pour ce qui conceme le d6veloppement math6matique 



wo 2004/012340 




•CT/FR2003/002246 



22 



10 



15 



20 



25 



Le decodeur regoit en entree le train de bits a decoder. Le modele de source, la variable N 
repr&entant le nombre de bits regus a decoder et la probabilite P(Uj, /YJ d'avoir emis un 
premier bit (ou premier 6I6ment binaire) sachant le second bit (ou second 61€ment 
binaire) Y„ observe sont des donn^ que le decodeur a pour entree, c'est £L dire que, k titre 
d'exemple seulement, ces donnees peuvent etre regues en entree avec le train de bits a 
decoder ou peuvent etre lues dans une memoire accessible par le d6codeur. La probabilite 
P(Ub /Y J peut etre obtenue a partir des propri6t6s du canal. 

Le critdre du MAP (Maximum A Posteriori) correspond k Testimation bay6sienne optimale 
dHm processus X a partir des observations disponibles Y conmie indiqu6 par I'equation (3) 
aimexe 1. L'optimisation est ejEfectuee pour toutes les "sequences" possibles. Dans cette 
premiere r6alisation, ce critere est appliquS h. I'estimation des 6tats cach6s des processus 
(X,N), qui peuvent 6tre consid6r6s comme des processus k horloge synibole, et des processus 
(X,K), qui peuvent Stre consid6r6s comme des processus h. horloge bit, 6tant donn6es les 
sequences de bits observ6es. L' estimation peut etre faite soit h. horloge bit, soit k horloge 
s3rmbole. Pour des raisons de simplicit6 de mise en oeuvre, Testimation k horloge bit est 
privilegi6e. 

Dans ce cas, I'estimation de I'ensemble des 6tats caches (X,K)=(Xi,Ki) ... (Xn,K^) «st 
6quivalente a I'estimation de la sequence de symboles decodes correspondante S = ... S^n 
...Skn, sachant les observations k la sortie du canal. La meilleure sequence pC,IQ peut 
gtre obtenue k partir des probabilit6s locales surles paires (X^JS^ grice k I'equation (4). 

Le calcul de P(X„,Kn|Y) peut gtre effectu6 k partir de Tequation de decomposition (5) oil a 
designe un facteur de normalisation. Les d6pendances de la chaine de Markov permettent 
un calcul recursif des deux termes de la partie droite de cette equation, base sur I'algorithme 
BCJR decrit dans Touvra^ 

[7] L.R. Bahl, J. Cocke, F. Jelinek, and, J.Raviv. Optimal decoding of linear codes for 
minimizing symbol error rate. IEEE trans, on transformation theory^ 02:284-287, March 



1974. 
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Ainsi, a I'etape 300, le treillis est tout d'abord construit en utilisant le modele source/deco- 
deui de la figuie 9A par exemple et les probabilites correspondantes sont calcul6es pour 
chaque transition du treillis. Ainsi, a partir du modele produit, ime passe avant permet la 
construction successive des etats reli6s.par des transitions du diagramme d'6tats produit 
5 depuis vm 6tat d'origine a un etat final. Chaque 6ta.t definit un nombre attendu de symboles 
decod6s pour un nombre donn6 de bits pass6s du flux de seconds Elements binaires depuis 
r6tat d'origine. Durant cette m6me 6tape, la passe avant de I'algorithme BCJR permet de 
calculer le terme FpC^=x^^=kJ[Yi'^ de la decomposition comme la sonune sur Tensemble 
des valeurs possibles de s^i^s^i du produit de trois probabilites conditionnelles (Equation 

1 0 (6): la probabilite recursive, la probabilite de transition entre les 6tats (x^j, k^,^ et (x„, kj 
donnee par le modele produit (comme indique en equation 17 et repr6sentant le produit des 
probabilites de transition PCSjC^.i) pr6cedenament dans le modMe source) et la probability 
d'avoir 6mis le bit U„ (pouvant 6tre 0 ou 1) d6clenchant la transition entre les 6tats (x^i, k^.^) 
et (Xn, sachant le second element binaire ¥„. Cette demifere probability est obtenue & 

1 5 partir des proprietes du canal. Le calcul recursif est initialise a I'etat de depart (0,0) et permet 
de calculer ^(X^jQYj^) pour tout 6tat possible (xjk^ avec n=l...N de lliorloge bit. Ainsi, 
cette passe avant permet la construction du treiUis du modMe produit et le calcul des 
probabilites F(XJKJiYi% successives et pour chaque instant n, d'aboutir dans un 6tat donne 
(Xj^JK^ connaissant des bite du flux de seconds eiemente binaires Yi". 

20 

A retape 302, la passe arri^re permet d'obtenir le terme P(Y**„^.ij3^=Xn,Kn=5lO de la 
decomposition poiur tout etat possible (Xn,10 ^ <^aque instant bit n consecutivement de N 
^ 1. Ce terme est calcuie comme la somme du produit de trois probabilites conditionnelles 
(equation (7) ): la probability recursive initialisee pour tous les ""demiers etats" possibles 

25 (Xn,Kn), la probabilite de transition entre les etats (X„+i, K^+i) et (X^, KJ donnee par le 
module produit et la probabilite d'avoir emis le bit U^+i declenchant la transition entre les 
etats (X^i, K„+i) et (X„, KJ sachant le second element binaire Y^^. Comme precedenunent, 
cette demidre probabilite est obtenue a partir du modMe de canal. Ainsi, cette passe arriere 
permet de calculer les probabilites P(Y'*^i|X„=x„,K„=kJ, successives et pour chaque instant 

30 n de N ^ 1, d' observer des bite du flux de seconds eiemente binaires Yi° connaissant un etat 
donne (X„KJ. 
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Lorsque le nombre de sjrmboles K est connu, une contrainte de terminaison peut etre 
rajoutee lots de la passe arri^re a I'etape 302. Ainsi, tous les chemins dans le treillis qui ne 
conduisent pas au bon nombre de symboles Kn=K sont supprimes. Ainsi, la passe arri^re 
comprend la suppression successive des 6tats du diagramme d'etats produit, depuis I'^tat 
5 &ial a Tetat d'origine, pour lesquels le nombre attendu de symboles pour un nombre donne 
de bits du flux de seconds Elements binaires est di£f6rent d'un nombre connu maximal de 
symboles. Ainsi, la premiere passe de I'etape 300 demarre k r6tat initial du treillis et 
construit succe^ivement les di£f6rentes sections du treillis. Au cours de cette passe avant, 
il n'est pas possible de savoir quels sont les chemins qui ne respectent pas la contrainte de 
10 terminaison- Une fois la passe avant termin€e, les 6tats de la demiere section (n=N) du 
treillis qui ne respectent pas la contrainte sont supprimes. La passe arriere permet alorsde 
supprimer toutes les branches qui n'aboutissent pas. 

A r^tape 304, les probabilites obtenues des passes avant et arriere sont combinees sous la 
15 forme d'un produit pour chaque valeur de n variant de 1 a N pour obtenir les probabilites 
P(X„,K„|Y) pour chaque etat n. De cette maniere sont estimees les probabilites li6es aux 
transitions du treillis construit. 

A r^tape 306, le produit de I'^quation (4) est e£fectu6 sur les probabilites P(Xn,K„| Yj") avec 
20 n variant de 1 ^ N. Ce produit est effectu6 pour les difKrentes combinaisons possibles de ces 
probabilites. Ainsi, la prdbabilit6 P(X,K|Y) la plus grande est retenue et les probabilites 
P(X^,KJ Y) constituant ce produit permettent de determiner le chemin le plus vraisemblsible 
dans le treillis. A partir du treillis et de la table correspondante du module produit 
source/decodeur, il est possible de determiner les symboles correspondant k ce chemin et de 

2 5 reconstituer une sequence de symboles S^^. 

Dans une autre realisation possible, le treillis sur lequel I'estimation est effectuee peut gtre 
pre-calcuie et memorise k partir du modele produit source/decodeur et de la longueur N de 
la sequence de bits observee. Ainsi, en reference k la figure 12, k partir du module 

3 0 source/decodeur et des valeurs de K et N, le treillis est construit a I'etape 400 en une passe 

avant et simplifie par une passe arriere a I'etape 402. Ce treillis est stocke en memoire pour 
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etre utilise h. chaque arrivee de train de bits pour lequel le modele source/decodeur et les 
valeurs K et N sont les memes. 

Pour un train de bits regus comprenant N=6 bits, pour un nombre connu de symboles h 
trouver K=7 et pour un modele de source/decodeur illustre en figure 9A, la construction du 
treillis est illustre en figure 13. Ce treillis comporte, a chaque etat (X^,K^, plusieurs valeurs 
couples pCn,K^. Par exemple, le couple (Xi,Ki) peut prendre les valeurs (1, 1) ou (2, 1) 
selon que le bit emis a pour valeur 0 ou 1. 

A chaque arrivee de train de bits (ayant le meme modele, les memes valeurs de K et N que 
le treillis), une passe avant et une passe arriere sont effectuees sur le train de bits aux dtapes 
404 et 406, par exemple de f agon parallele. Les probabilites P(X„,K„| Yi") et P(Y„+i^ | X„,KJ 
sont calculees comme indique aux 6quations (6) et (7). Le produit de ces probabilit6s est 
efifectu6 h r6tape 408 pour chaque valeur de n et correspond h chaque transition du treillis. 
H est ensuite proced^ au calcul du produit des probabilit6s pour n variant de 1 ^ N a r€tape 
410 conune indiqu6 en (4) pour obtenir des probabilites P(X,K|Y). II est gard6 le maximum 
parmi ces probabilit6s P(X,K|Y) pour determiner le chemin le plus vraisemblable sur le 
treillis et la sequence de symboles correspondante. 

Selon I'exemple de la figure 13, le chemin le plus vraisemblable (obtenant la plus grande 
probabilit6 P(X,K]Y) ) est marqu6 en gras. La suite des 6tats (Xq,Kq), ...,(Xn,K^4) permet, k 
la lecture de la table 8A de determiner la sequence de symboles oorrespondant k ce chemin. 

n a ete presents un proc^de de decodage optimal de codes quasi-arithmetiques. Ce proc^de 
necessite la creation et la manipulation d'un treillis d'estimation, comme par exemple celui 
de la figure 13. La taille de ce treillis depend du nombre d'etate du module produit 
source/decodeur (4 6tats sont possibles pour le module produit source/decodeur de la figure 
9A par exemple) et de I'amplitude des valeurs que peut prendre la variable a chaque 
instant bit n. Le nombre d'etats du modele produit source/decodeur est lui-meme dependant 
du meddle de source binaire et du parametre de precision du codage quasi-arithmetique T. 
Pour regler le compromis entre I'eMcacite de compression du codeur quasi-arithmetique et 
la complexite du procede d'estimation, il suffit done de regler la valeur du parametre T. Une 
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valeiu* de T aussi petite que 4, par exemple, entraine un debit excedent raisonnable. Si 
cependant une compression maximale est require, T doit avoir iine valeur beaucoup plus 
■ grande et la valeur minimale de T requise d6pend de la distribution de la source. Dans la 
majeure partie de ces cas, la valeur de T est trop importante pour pouvoir utiliser le proc6d6 
5 d'estimation optimal decrit ci-dessus. Le nombre d'etats du modele produit source/d^codeur 
peut egalement etre trop important pour pouvoir pr6-calculer ces etats. 

Un proc6d6 d'estimation applicable an codage arithm6tique et au codage quasi-arithm6tique 
est maintenant ddcrit quelle que soit la pr6cision T choMe, c'est-ll-dire quelque soit 
1 0 re£&cacit6 en compression choisie. 

Ce proc6d6 s'appuie sur les m^me modeles de source, de codeur et de d6codeur que ceux vus 
prec6denunent. Le nombre d'6tats des modeles de codeur et de d6codeur 6tant trop important 
pour que ceux-ci puissent 6tre etre pr6-calcul6s, le treiUis d'estimation correspondant ne peut 

15 pas non plus etre construit. Le procede d'estimation propos6 ci-apres est done bas6 sur 
I'exploration dW sous-ensemble du treillis d'estimation, qui est considere conune un arbre. 
Ce proc6d6 est appel6 proc6d6 d'estimation s6quentiel. n peut s'appliquer k partir des 
modules source/codeur et effectuer les calculs s6quentiels en utilisant *l'horloge symbole", 
c'est-^-dire un compteur incr6ment6 selon le nombre de symboles h. trouver. II peut 

20 6galement s'appliquer k partir des modules source/d6codeur et effectuer les calculs 
s6quentiels enutUisant "I'horlogebit", c'est-i-dire un compteur incr6ment6 selon le nombre 
de bits h. d6coder. Ce deuxi&me proc6d6 d'estimation est pr6sent6 pour une source binaire h. 
titre d'exemple uniquement. n peut €galement s'appliquer k ime source M-aire (M>2). 

25 La figure 14 illustre le procede d'estimation sequentiel dit a horloge symbole, c'est k dire 
base sur le modMe source/codeur. Ainsi, d'apres la figure 8 repr^sentant la structure de 
d6pendance du modMe source/codeur, 1' estimation de la s6quence des etats (X, N) pour un 
train de bits est equivalent k 1' estimation de la sequence de transitions entre ces 6tats, c'est 
a dire ^ I'estimation de la sequence S sachant les observations Y a la sortie du canal. Cedl 

30 se traduit par une formulation mathematique presentee en (8) ou a designe un facteur de 
normalisation. Dans le cas du codage arithm6tique optimal (pour une valeur de T 61ev6e), 
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comme les bits emis sont distiibues unifonnement et mdependamment, ce facteur de 
nonnalisation est PCUi^/POfi**) = 1. 

A Tetape 500, la piobabilite de decoder une sequence de symboles (de 1 k k) connaissant 
5 des bits du flux de seconds eMments binaires P(SiVYi^ pour chaque instant symbole k peut 
6tre calcul6e en une passe avant unique grSce k la decomposition de I'^quation (9 ) oil est 
le nombre total de bits 6xnis lorsqu'on est dans l'6tat X^. En tenant compte du modMe de 
source binaire defini k l'6quation(l) et en consid6rant un canal sans m^moire, la probability 
d'observer les seconds €16ments binaires corre^ondant k un 6tat du modMe ne d6pend que 
1 0 des premiers elements binaires pour cet 6tat, cette probability peut €tre r66cTite comme 
indique a I'equation (10). 

Le calcul est initialis6 coname indiqu6 en (11) avec Si = s^ pouvant prendre deux valeurs 
possibles 0 ou 1 dans le cas d'une source binaire, et M valeurs possibles dans le cas d'une 
15 som-ce M-aire. Q est I'etat de depart du modele de source. Pour un canal consider^ sans 
memoire, le second terme de cette equation moddlisant le bruit iatroduit par ce canal est 
donn6 k T Equation (12) comme le produit, pour un 6tat X^, donne du module source/codeur, 
des probabilit6s d'observer un second 616ment binaire Y„ pour un premier 616ment binaire 
transmis U^. Partant de cette initialisation, I'^quation (10) est utilis^e pour calculer 

2 0 P(SiVYi^ pour chaque instant symbole k cons6cutif . 

Toutes les s6quences de symboles possibles 6tant consid6r6es, la taille du treillis 
d'estimation orolt exponentiellement avec le nombre de symboles K. Ainsi, T^tape 502 
autorise le calcul des probabilit6s P(Si''/Yi'*) pour \m nombre de sjrmboles k variant de 1 ^ 
25 _xl. Pour les symboles a partir de cette valeur xl, unjSlagage intervient k I'etape 504 pour 
maintenir une complexity du treillis d'estimation k un niveau desire, xl est un entier inf 6rieur 
ou 6gal au nombre de symboles K. 

L'elagage de I'etape 504 peut comporter differentes realisations. A titre d'exemple, deux 

3 0 realisations sont presentees ci-aprds. Les realisations peuvent Stre combin€es ou employees 



separement. 
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Ainsi, dans une premiere r^alisatioii de T^lagage de r6tape 504, seuls les W noeuds les plus 
vraisemblables d'un etat (X^ N J sont selectionnes et ceci a partir d'lin nombre k = xl pour 
garantir la significativit6 des probabilites calculees (appelees vraisemblances). La valeur de 
W depend des ressources de m6moire disponibles. Aii^i, pour chaque 6tat (X^, NJ, seules 
5 les W probabilit6s les plus grandes paimi les probabilites calculees de decoder une sequence 
de symboles (de 1 ^ k) connaissant des bits du flux de seconds elements binaires P(Si''/Yi^ 
sont s€lectionn6es et m6morisees. Dans une variante, il est possible de garantir une 
terminaison correcte de I'estimation en rafGnant cette contrainte. Ainsi, seuls les w noeuds 
les plus vraisemblables seront s61ectiomi6s et conserves pour chaque valeur possible de 
10 (correspondant h I'horloge symbole). est le nombre de bits emis pour k sjmiboles codes 
lors du codage. La relation entre W et w est doim6e en (19) avec et dependant 
respectivement de la probabilit6 de la s6quence S^'' la plus et la moins vraisemblable. 



Dans une deuxieme realisation de I'^lagage de T^tape 504, le critdre d'61agage est bas€ sur 
15 xm seuil appliqu6 sax la vraisemblance des chemins. La vraisemblance d'un chemin est 
donn6e par l'6quation (8) (horloge symbole). Dans cette equation, les termes P(Y|U) sont 
lies au modfele de canal conune indique dans T^quation (12). P(Y„=yJU„=uJ repr6sente la 
probability quVm bit y„ soit observe sachant quW bit u^ a 6t6 transmis ou la probability de 
recevoir un bit y„ sachant q'un bit xi^a6t6 ^mis, ce qui 6quivaut k la probability que le bit 

2 0 observ6 soit erron6. Soit p la probability d'errevu- binaire moyenne qui est fixye arbitraire- 

ment comme toiyrable sur le canal diurant I'estimation. L'yiagage consiste ^ supprimer tous 
les chemins pour lesquels la probability d'erreur binaire moyenne k la sortie du canal est 
supyrieure it p. Ainsi, k chaque instant symbole N^^ le crit^re d'yiagage comprend un seuil 
p compary aux probabilitys P(Yi^|Ui4j de manidre h ce que tous les chemins du treillis 
25 d'estimation pom- lesquels est verifie P(YNk|UNk) < (l-p)*^, soient supprimes. Seules sont 
memorisees les probabilites de decoder une sequence de symboles (de 1 ^ k) connaissant des 
bits du flux de seconds yiements binaires P(SiVYi^, calcuiyes h. partir des probabilitys 
I*(XNic|UMk) plus grandes que le seuil minimal p. 

3 0 Apres incrementation de la valeur k d'une unity, la probability P(Si''/Yi**) pour le nombre 

de symboles Nk (avec k>x) est calcuiye k I'ytape 506. L'yiagage realisy k I'ytape 504 est 
ryityry pour ce nouvel instant symbole Nk. Les ytapes 504 et 506 sont effectuyes pour une 
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valeur k incrementee jusqu'a la valeur K. A Tetape 510, line fois la valeur K atteinte, les 
probabilites F(S^/Yi^^ maiginales a posteriori sont connues poxix toutes les sequences 



laquelle la probability V(S-^/Y^) est la plus grande parmi les sequences possibles du treillis 
d'estimation obtenu. 

Lorsque le nombre de bits N est coimu, il peut constituer une contrainte sur la terminaison 
du treillis d'estimation et les chemins qui ne respectent pas la contrainte N ne sont pas 
consid6r6s. 

La figure 15 illustre le procede d'estunation sequentiel dit ahorlogebit, c'est a dire base sur 
le modMe source/decode\ir. Ainsi, d'apr^s la figure 10 repr6sentant la structure de 
d^pendance du mod&le source/d6codeiu:, Testiination de la s6queQce des 6tats (X, K) pour 
obtenir un train de symboles est Equivalent ^ Testimation de la sequence de transitions entre 
ces 6tats, c'est a dire h I'estiniation de la sequence S sachant les observations Y ^ la sortie du 
canal. Ceci se traduit par une formulation matii6matique pr€sent6e en (13) oil ct d6signe un 
fiacteur de normalisation. Dans le cas du codage arithm6tique optimal (pour une valeur de 
T 61ev6e), les bits 6mis etant distribu6s unifonn6ment et ind6pendamment, ce facteur de 
normalisation est P(Ui°)/P(Yi")=l . 

A Tetape 600, la probabilite de decoder une sequence de K„ symbols connaissant les bits 
du flux de seconds 616ments binaires P(Sj*^/Yi'') pour chaque bit n (dSfini ult6rieurement) 
peut 6tre calcul6e en une passe avant unique gr&ce k la d6coniposition de r6quation (13 ) oil 
Kj, est le nombre total de sj^boles d6cod6s a la reception du bit n dans V6tat X^. En tenant 
compte du modele .de source binaire qui .definit en (2) les probabUit^s de transition entre 
6tats (X„JEQ et (X„+i,Is,+i), la probabilit6 P(Si*^) d'obtenir une s6quence de symbole 
s'exprime de mani^re r6currente scion T^uation (14) en utilisant I'Equation (15). En 
considerant un canal sans memoire, c'est-^-dire que la probability d'observer les seconds 
616ments binaires correspondant h. un etat du modele ne depend que des premiers elements 
binaires transmis pour cet etat, la probabilite P(Yi°AJi") peut etre r^ycrite et permet d'obtenir 
la probability P(Si*^/Yi°) comme indiqu6 en (16). 



possibles. La s6quence s. 



la plus vraisemblable est choisie, c'est-a-dire la sequence pour 
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Comme dans le cas de la figure 14, le calcul de la probabilite P(Si^/Yi°) par 1* equation (16) 
est ioitialisee pour n=l, = Sj pouvant prendre deux valeurs pos^bles 0 ou 1 dans le cas 
d'une source binaire, et M valeurs possibles dans le cas d'lme soiuce M-aire. Q est I'etat de 
depart du modMe de source. Partant de cette initialisation, r6quation (16) est utilisee pour 
5 calculer P(Si^/Yi°) pour chaque instant bit n cons^cutif . 

Toutes les sequences de symboles possibles 6tant consid6r6es, la taUle du treillis 
d'estimation croit exponentiellement avec le nombre de symboles K pouvant 6tre estim6. 
Ainsi, Tetape 602 autorise le calcul des probabilit6s P(Si*^/Yi°) h I'etape 600 pour un 
1 0 nombre de bits n variant de 1 ^ x2, x2 6tant mi entier d6signant un nombre seuil de bits. Pour 
les bits h partir de cette valeur x2, im 61agage intervient k r6tape 604 pour maintenir une 
complexity du treillis d'estimation h. un niveau d6sir6. 

L'elagage de TStape 604 peut comporter di£E6rentes r6alisations correspondant aux 
15 realisations de I'etape 504 de la figure 14. Les realisations peuvent 6tre combin^es ou 
employees separ^ment 

Aii^i, dans une premiere realisation de l'elagage de r6tape 604, seuls les W noeuds les plus 
vraisemblables d'vm etat (X^, sont gardes et ceci a partir d'un nombre n = x2 pour 
2 0 garantir la significativit^ des probabilit6s calculees (appeMes vraisemblances). Ainsi, pour 
chaque etat (X^, KJ, seules les W probabilites les plus grandes pamii les probabilites 
calcul6es de decoder une sequence de s3naaboles connaissant des bits du flux de seconds 
36ments binaires "PiS^/Y^^ sont m6moris6es. 

2 5 Dans ime variante, il est possible de conserver seuls les w noeuds les plus vraisemblables 
pom chaque valeur possible de (correspondant a I'horloge bit). est le nombre de 
symboles 6nas pour n bits regus lors du d6codage. La relation entre W et w est donn6e en 
(20) avec et d6pendant respectivement de la probability de la sequence S^^ la plus 
et la moins vraisemblable. 

30 

Dans une deuxi^me realisation de l'elagage de I'etape 604, le critdre d'61agage est bas6 sur 
un seuil appliqu6 sur la vraisemblance des chemins. La vraisemblance d\m chemin est 
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donn6e par I'equation (13) (horloge bit). Dans cette equation, les termes P(Y|U) sont lies au 
modMe de canal comme indiqu6 dans I'eqiiation (16). Comme propos6 pour la figure 13, 
r^lagage consiste k supprimer tons les chemins pour lesquels la probabili^ d'erreur binaire 
moyenne h. la sortie du canal est sup6rieure k p. Ainsi, k chaque instant bit n, le crit^re 
5 d'elagage comprend un seuil p compare aux probabilit6s P(YjUn) de mani&re a ce que tous 
les chemins du treillis d*estimation pour lesquels est verij56 P(YjUJ < (l-p)°, soient 
supprim6s. Seules sont m6moris6es les probabilit^s de decoder un prochain symbole 
connaissant des bits du flux de seconds 616ments binaires P(Si*^/Yi°), calcul6es k partir des 
probabilites P(YjUJ plus grandes que le seuil minimal p. Ainsi, k chaque instant bit n, tous 
1 0 les chemins du treillis d'estimation pour lesquels le critdre d'elagage P(Y„|Un) < (1-p)" est 
rempli, sont supprim6s. 

Apr6s incrementation de la valeur n d'une unit6, la probabiIit6 P(Si*^/Yi°) pour le nombre 
de bits n (ayec n>x2) est calcul6e k I'^tape 606. L'61agage r€alis6 k l'6tape 604 estr6it6r6 
15 pour ce nouvel instant bit K„. Les etape 604 et 606 sont effectu6es pour ime valeur n 
incr6mentee jusqu'a la valeur N. A Tetape 610, une fois la valeur N atteinte, la sequence Si** 
la plus vraisemblable est choisie, c'est-a-dire la sequence pour laquelle la probabilite 
P(S,^/Y 1^) est la plus grande parmi les sequences possibles du treillis d'estimation obtenu. 

20 A la fin de I'estimation, les probabilite P(S jVYi*^) marginales a posteriori sont connues pour 
toutes les s6quences s^^ restant apres 61agage. 

Les contraintes de temiinaison mentionn6es peuvent 6tre vues comme un moyen de forcer 
la synchronisation ^ la j5n de la s6quence de S3miboles. En eflfet, elles contraignent le 
25 d6codeur k obtenir la bonne correspondance entre le nombre de symboles decodes et le 
nombre de bits observ6s. Cependant, ces contraintes n'ontpas d'effet de synchronisation svir 
le milieu de la sequence. 

L*addition a la sequence de symboles d'information compl6mentaire permet de favoriser la 
3 0 re-synchronisation sur I'ensemble de la s6quence. Ainsi, des symboles supplementaires, ou 
marqueurs, sont introduits a des positions connues dans la sequence de s3rmboles. Le choix 
de ces symboles est arbitraire, et se base sur le principe des techniques dgorites dans (2, 4, 
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11, 5, 14). A titre d'exemple imiquement, iin des symboles dans I'alphabet peut 6tre choisi 
ou le demiei symbole cod6 peut Stre i6p6\6. Ces marqueiirs sont ms6i6s h. position connue 
suivant ITiorloge symbole. Par com6quent, la position des bits suppl6mentaiies coirespon- 
dants dans le train binaire depend de la sequence de symboles codee, et est al6atoire. 



Bien 6videniment, les proc6d6s d6velopp6s pr6cedemment doivent tenir compte de cette 
information suppl6mentaire. Cette connaissance k priori peut etre e:s^loit6e par les proc6des 
d'estimation. La variable Isi (k a horloge sjnnbole) indique quand un marqueur est attendu. 
Les probabilites de transition cx)rrespondantes dans le treiUis d'estimation sont raises a jour 
10 en consequence. Une probabilite nuile est affect6e a toutes les transitions qui n'emettent pas 
les marqueurs attendus, alors quHme probabilite de 1 est affectee aux autres. Par consequent, 
certains chemins dans le treillis peuvent Stre supprim6s, ce qui amene une reduction du 
nombre d'6tats et une meilleure capacit6 de re-synchronisation. 

15 Des exemples de procSdSs de d^codage robuste sont decrits ci-dessus a titre d'exemple. 
D*autres variantes peuvent etre envisagees. De plus, d'autres criteres d'elagage peuvent 8tre 
pr6vues et combines avecles proc6d6s dePinvention. La conversion M-aire/binairen'estpas 
indispensable, mais permet d'utiliser de petites valeurs de T. Les proc6des de decodage 
pr6sent6s ci-dessus pour des sources binaires peuvent 6galement fonctionner povir des 

20 sources M-aires. 

Comme d^velopp^ dans la description ci-dessus, Pinvention propose un proc6d6 de 
d6codage robuste de codes arithm6tiques base sur Ihitilisation de codes de type codes 
arithm6tiques comprenant les codes aritbmetiques k precision reduite, appel6s codes qua- 
2 5 si-aritbm6tiques. La pricision de ces codes quasi-aritfam6tiques est un paramdtre ajustable 
en fonction de I'effet recherche. Une precision trSs 61ev6e permet d'atteindre des performan- 
ces en compression identiques aux codes arithm6tiques. Une precision plus faible permet 
d'accroitre la robustesse, au prix dHme perte raisonnable en compression. 



5 



3 0 Comparee k un decodage dit ''instantane" classique, Pinvention peimet de reduire fortement 
le phenom^ne de desyndironisation du decodeur. Comparee k d'autres methodes classiques 
de decodage dite "sequentlelles" ou sur structures d'arbres, Pinvention offre une plus grande 
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souplesse pour ajuster iin compromis entre l'efficacit6 de compressionyia robustesse/la 
complexitg du d6codage. En effet, rinvention compiend im ensemble de proc6d6s pouvant 
8tie dioisk selon la complexite peimise par le terminal, selon le taux d'eireur observ6 sur 
le canal. Un proc6d6 de d6codage sequentiel comprend un m6camsme de syn<±ionisation 
couple k une technique d'elagage qui pennet de controler la complexite du processus de 
decodage. Un pToc6d6 de d6codage sur treillis avec param^trisation du compromis 
complexit6/robustesse/compression permet d'utiliser le proc6d6 de mani^re coupl6e avec un 
d^codeur de canal (d6codeur de codes convolutifs), utilisation difficile avec les proc6d6s 
s6quentiels traditionnels. 



Dans rinvention propos^e, il doit etre clair que les Elements d'ordre madi6matique d^crits 
n'ont pas d'int6iSt en eux-memes, mais seulement dans la mesure oh ils concement des fhix 
d'infoimations ( par exemple signal sonore, video), soumis k des contraintes materielles. 
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Annexe 1 

PiCk+x\Ck)=P{Sk+x\Ct) 
X = argnMx P(X = x\Y). 



OC P(Xn,iiC„|17)'' nY^x\Xn,Kn), 



(«n-ljfcn-l) 

lP(-Xn+l = Xn+i,Kn+l = kn+i\Xn = Xn^Kn = kn)' 



P(5i*|yi^^) OC P(5f-^|3f'*-^).P(SrA:|5fc_i). 
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nS^lY^") oc P(5*-im^*-^)-IP(S'fc|C7fc_i). 
F(5i = 5iiyi^»="^ = yf^="^) « F(Si = si|Ci)- 

IJ ni^n = yn\Un = «n) if iV* > -Wfc-l 
n=JVfc_i+l 

1 sinon. 



(10) 

(11) 

(12) 
(13) 



(14) 



n nSk\Ck-l)siKn>Kn-X 

fc=iif„_l+l 
1 sinon. 



(15) 



F(5'f«|17») oc P(Sf»-^)-P(lT~^|t^"^)- 

nYn\Un) • n ^(-S^fclC^*-!) 

OC p(sf"-Mir~^)-p(i;»ic/»)- n nsk\Ck-i) 

Jb=Jif„_i+l 



(16) 



P(X„ = x„, Ifn = fen|Xn-i = a;„_l, Kn-l = fc„-l) = fl PC-^fclC^fc-l) (17) 

Jfe=JK'„_i+l 

p(i;.it7-„) < (1 -pr (IS) 

W = (JVfc„u«;-JVjfcmi« + l)«' (19) 

W = iKnmax-Knmin + l)w (20) 
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T?(Yi=0\Ui=0) = l-p 
WiYi = l\Ui = 0)=p 
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Revendications 

1. Proc6d6 de decodage comprenant les 6tapes suivantes: 

a. prevoir un modele source 

5 propre a definir des probabilites pour des symboles x-aires (SJ, 

associ6s k des transitions entre 6tats sources (C^) dans un diagramme d'6tats source, 
un modMe dit **produif % 

propre k d6finir une correspondance entre les symboles x-aires et de premiers 616ments 
binaires, 

10 en fonction d'etats produits dans un diagramme d'6tats "produit", un 6tat produit 

etant fonction d'un 6tat source, 

b. recevoir des propri6t6s de "canal", 

propres k d6£aiir des probabilites de recevoir de seconds 616ments binaires, sur Emission . 
de premiers el6mente binaires, 
15 c. pour \m flux code regu de seconds elements binaires, 

calculer des probabilit6s de d6coder des symboles x-aires, 
connaissant des bits du flux de seconds elements binaires, 

ou des probabilites d'aboutir dans des etats produits connaissant des bits du flux de 

seconds elements binaires, 
20 h partir des propri6tes de canal, du modele source et du moddle produit, 

d. reconstituer le flux de symboles x-aires le plus probable k partir des probabilites calcul^es 
h. retape c. 

2. Precede selon la revendication 1, caract6risee en ce que le modele produit est etabli k 
2 5 partir du modele source et d'un modMe de transfert, propre a etabUr une correspondance 

entre des symboles x-aires et de premiers elements binaires, en fonction de probabilites 
associees k des symboles x-aires. 



30 



3. Precede selon la revendication 2, caracterise en ce que le modele source comprend des 
transitions associees k tme correspondance entre des symboles m-aires (A^ sources et des 
symboles x-aires cibles (S,^, en particulier m^x et x=2. 
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4. Precede selon I'lme des revendications pr6c6dentes, caracteris6e en ce que les modules 
de produit et de transfert sont de type arithm^tique et en ce que le modele de transfert est un 
modMe de codage ou de d^codage. 

5 

5. Proc6d6 selon I'lme des revendications pr6c6dentes, caracteris6 en ce que T^tape c. 
comprend le calcul, par 6tapes, des probabilit6s de decoder un symbole x-aire connaissant 
des bits du flux de seconds 616ments binaires. 

10 6. Precede selon I'une des revendications precedentes, caracteris6 en ce que Tetape c. 
comprend, pour chaque 6tape a partir d'un nombre donn6 d'^tapes et selon un critdre de 
selection donn6, la s61ection de certaines probabilit6s panni les probabilit6s de decoder un 
symbole x-aire, connaissant des bits du flux de seconds Elements binaires, calculees lors 
d'lme 6tape. 

15 

7. Proced6 selon la revendication 6, caract6ris6 en ce que le critfere de selection de I'^tape 
c. comprend un nombre fix6 de probabilites h garder panni les plus grandes des probabilitSs. 

8. Proc6d6 selon Tune des revendications 6 et 7, caracteris6 en ce que le critere de selection 
20 de I'etape c. comprend un seuil minimal compare aux probabilites de recevoir de seconds 

elements binaires, sur Emission de premiers 616ments binaires, de mani^re h ne m6moriser, 
k chaque €tape, que les probabilites de decoder un symbole x-aire, connaissant des bits du 
flux de seconds elements binaires, calculus k partir des probabilit6s de recevoir de seconds 
elements binaires, sur emission de premiers 6Mments binaires, plus grandes que ce seuil 
25 minimal. 

9. Proc6d6 selon Tune des revendications 5^8, caract6ris6 en ce que I'^tape c. comprend 
I'elaboration d'un aibre constitu^ d'etats relives par des transitions, chaque etat correspon- 
dant h une 6tape de calcul de probabilites et chaque transition, au d6part d'un etat, 

3 0 correspondant k Tune de ces probabilites calculees. 
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10. Procede selon les revendications 1 et 9, caracterise en ce que Tetape d. comprend le 
calcul du produit des probabiHt^s coirespondant h. des transitions successives dai^ I'arbre 
et la selection du produit le plus grand correspondant aux traimtions successives les plus 
probables et au flux de symboles x-aires le plus probable. 

5 

11. Procede selon les revendications 5 et 10, caracterise en ce que I'etape c. comprend le 
calcul, pour un nombre doim6 de symboles x-aires successifs a d6coder, des probabilit6s de 
decoder une s6quence de symboles x-aire connaissant des bits du flux de seconds Elements 
binaires. 

0 

12. Procede selon les revendications 5 et 10, caracterise en ce que I'^tape c. comprend le 
calcul, pour un nombre donn6 de bits successifs du flux de seconds 616ments binaires, des 
probabilit6s de decoder une sequence de symboles x-aire, connaissant des bits du flux de 
seconds ^l^ments binaires. 

5 

13. Procede selon I'uue des revendications 1^4, caract6rise en ce qu'^ partir du module 
produit 6tablissant ladite correspondance, T^tape c. comprend 

cl. la construction successive d'6tats reli6s par des transitions d'un diagramme d'6tats 
produit depuis un 6tat d'origine h un 6tat final, chaque 6tat d^finissant un nombre attendu 
0 de s3anboles x-aires d6cod6s pour un nombre donn6 de bits du flux de seconds 61^ments 
binaires depuis r6tat d'origine. 



14. Proc6d6 selon la revendication 13, caracteris6 en ce que la construction de T^tape c. 
comprend 

25 c2. la suppression successive d'6tats du diagramme d'^tats produit, depuis I'etat final a Tdtat 
d'origine, pour lesquels le nombre attendu de symboles x-aires pour tm nombre donne de 
bits du flux de seconds 616ments binaires est di£f6rent d'un nombre coxmu maximal de 
symboles x-aires. 
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15. Procede selon Tune des revendications 13 k 14, caracteris6 en ce que I'etape c. comprend 
cl. le calcul, apr^s chaque etat construit, des premieres probabilit6s successives d'aboutir 
dans un €tat donn6 connaissant des bits passes du flux de seconds 616ments binaires. 
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c2. le calcul, pour chaque etat depuis Tetat final a I'etat d'origine, des secondes probabilites 
successives d'obseiver des piochains bits du fhix de seconds elements binaiies connaissant 
cet 6tat doxm6. 

5 16. Proc6de selon Tune des revendications 13 k 14, caracterise en ce que I'etape c. comprend 
c3. le calcul, pour chaque 6tat du diagramme depuis I'etat d'origine a I'etat final, des 
premieres probabilites successives d'aboutir dans cet 6tat donn6 connaissant les bits pass6s 
du flux de seconds 616ments binaiies, et , pour dtiaque 6tat depuis l'6tat final h. I'etat 
d'origine, des secondes probabilit6s successives d'observer des prochains bits du flux de 
1 0 seconds elements binaires connaissant un €tat domi6. 

17. Proc6d6 selon I'une des revendications 13 h. 16, caract6ris6 en ce que l'6tape c. comprend 
le calcul de la probability d'aboutir dans cet etat donne connaissant les bits du flux de 
seconds elements binaires en elQtectuant le produit des premieres et deuxiemes probabilit€s 

1 5 pour chaque 6taL 

18. Precede selon les revendications 1 et 17, caracteris6 en ce que I'etape d. comprend le 
calcul des produits de probabilites des diEferents 6tats successifs possibles puis la selection 
du produit maximal. 



19. Procede selon les revendications 13 et 18, caracterise en ce que r6tape d. comprend 
l'6tablissement du flux de symboles x-aires correspondant k ces 6tats successiEs en utilisant 
la coirespondance du modMe produit. 

2 5 20. D6codeiu: comprenant 

une premiere entr6e pour recevoir un flux cod6 de seconds 616ments binaires, 
caract6ris6 en ce qu'il comprend 

une deuxieme entree pour recevoir des propri^tes de canal propres k d6finir des probabilit6s 
de recevoir de seconds 616ments binaires, svir Emission de premiers 61ements binaires, 
30 un premier module d^finissant 



20 



- un modMe source 
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propre k definir des probabilites pour des symboles x-aires associ6s a des transitions entre 
etats sources dans un diagranime d'6tats source, ' 
- un modele dit '*produit", 

propre a definir une correspondance entre les symboles x-aires et de premiers 616ments 
5 binaires, 

en fonction d'6tats produits dans un diagramme d'6tats **produit", un etat produit 
^tant fonction d'un 6tat source, 
un module de traitement 

adapte pour calculer des probabilites de decoder des symboles x-aires, 
1 0 connaissant des bits du flux code de seconds elements binaires, h partir des 

propriet6s du canal, du module source et du modele produit, 
ou des probabilit6s d'aboutir dans des 6tats produits coimaissaiit des bits du flux de 
seconds Elements binaires, 
et adapte pour reconstituer le flux de symboles x-airies le plus probable a partir de ces 
15 probabilites calcul6es. 
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